Merge pull request #2472 from lucab/ups/prepare-root-checked-printf

Merge pull request #2473 from lucab/ups/prepare-root-less-global-mutable-state

prepare-root: get rid of a global variable

This moves a global mutable variable to a smaller local scope,
as it is not really used outside of that.

prepare-root: check return codes for errors when assembling paths

This adds checks around all `snprintf` calls in order to detect
failures and gracefully abort.

Merge pull request #2471 from lucab/ups/prepare-root-silent-mounts

prepare-root: make all mount operations silent

prepare-root: make all mount operations silent

This adds a `MS_SILENT` flag to all `mount(2)` calls, reducing the
amount of kernel logs produced on each boot.
Those messages do not contain actionable details, and in the "mount
plus read-only remount" case they can easily become highly redundant.

Merge pull request #2468 from lucab/ups/tests-var-mount

tests/var-mount: tweak test setup

tests/var-mount: tweak test setup

This reworks the var-mount destructive test in order to properly use
the datadir for the current stateroot instead of a duplicated one.
In turn, it ensures that the resulting `var.mount` after reboot is
correctly pointing to the same location which hosted `/var` on the
previous boot.

Merge pull request #2466 from cgwalters/ci-fanalyzer

ci: Enable -fanalyzer

tests/rollsum: Use `g_malloc` not `malloc`

To pacify gcc's `-fanalyzer`.

ci: Enable -fanalyzer

Followup to https://github.com/ostreedev/ostree/pull/2463

One thing I noticed here is we lost usage of `build-check.sh`
which also invokes `clang`, which doesn't speak `-fanalyzer`
and would be broken by this if we try to enable `build-check.sh`
again.  But that can come later.

Merge pull request #2455 from cgwalters/packit

Attempt to update packit flow to build in COPR

Merge pull request #2467 from cgwalters/bump-libglnx-20211014

libglnx: Bump to ef502aabf7d3a0d37f9c4d228f870ac93404447b

Various fixes there, including one for `gcc -fanalyzer`.

Update submodule: libglnx

Attempt to update packit flow to build in COPR

No idea if this will really work, but at least `packit srpm`
does work now.

Merge pull request #2463 from cgwalters/fix-fanalyzer

Fix various mostly theoretical gcc `-fanalyzer` issues

variantutil: Fix gcc `-fanalyzer` warnin

Add some not-NULL assertions for return values from glib,
and upgrade some `g_return_if_fail` to `g_assert`.

utils: Fix unreachable `NULL` deref by adding assertion

Again this one is just in theory, but let's add an assertion.

static-delta: Fix probably not actually possible NULL deref

Flagged by `gcc -fanalyzer`.  I didn't study this really deeply
but I think it's not actually reachable.  Anyways, let's catch
it on general principle.

fetcher/soup: Fix gcc `-fanalyzer` warning

In general, we're probably going to need to change most of our
`g_return_if_fail` to `g_assert`.  The analyzer flags that
the function can return `NULL`, but the caller isn't prepared for
this.

In practice, let's abort.

sysroot: Fix gcc `-fanalyzer` warning

In general, we're probably going to need to change most of our
`g_return_if_fail` to `g_assert`.  The analyzer flags that
the function can return `NULL`, but the caller isn't prepared for
this.

In practice, let's abort.

deployment: Fix gcc `-fanalyzer` warning

In general, we're probably going to need to change most of our
`g_return_if_fail` to `g_assert`.  The analyzer flags that
the function can return `NULL`, but the caller isn't prepared for
this.

In practice, let's abort.

remote: Fix gcc `-fanalyzer` warning

In general, we're probably going to need to change most of our
`g_return_if_fail` to `g_assert`.  The analyzer flags that
the function can return `NULL`, but the caller isn't prepared for
this.

In practice, let's abort.

Merge pull request #2464 from lucab/ups/box-auto-txn

repo/private: move OstreeRepoAutoTransaction to a boxed type

Merge pull request #2465 from travier/docfixes

docs: Do not convert -- & --- to en/em-dash

docs: Do not convert -- & --- to en/em-dash

'--' is frequently used for command line options and was thus
incorrectly rendered as a special en-dash symbol.

repo/private: move OstreeRepoAutoTransaction to a boxed type

This defines `OstreeRepoAutoTransaction` as a boxed type, in order
to support auto-generating bindings for it.
That first requires adding internal reference-counting to it, to
allow freely copying/freeing references to a single transaction guard.

Merge pull request #2461 from lucab/ups/prepare-root-logging

prepare-root: tweak log messages to clarify errors

prepare-root: tweak log messages to clarify errors

This rewords errors and log messages in the functions which take care
of preparing sysroot in initramfs.
Depending on the boot flow, it is possible to reach this logic
with a sysroot mounted (unexpectedly) as read-only.
In that case, let's clearly point out the problematic mountpoint.

Merge pull request #2460 from cgwalters/gir-no-tls-interaction

Merge pull request #2459 from smcv/test-commit-sign

test-commit-sign.sh: Skip a unit test when running as an installed-test

Remove OstreeTlsCertInteraction bits from introspection

We filter out everything named `-private.h` from scanning,
which differs from the gtk-doc exclude.  Eventually this will
be solved when we switch to the new gir-based docs.

Came up in https://github.com/ostreedev/ostree-rs/pull/34#discussion_r723337772

Merge pull request #2458 from ostreedev/release-2021.5

Release 2021.5

test-commit-sign.sh: Skip a unit test when running as an installed-test

Signed-off-by: Simon McVittie <smcv@debian.org>

configure: post-release version bump

Release 2021.5

Merge pull request #2449 from cgwalters/mtree-from-commit

Merge pull request #2454 from lucab/ups/auto-txn-complete

repo/private: allow committing/aborting through a transaction guard

repo/private: allow committing/aborting through a transaction guard

This enhances the auto-transaction logic, augmenting the scope of a
transaction guard.
It allows committing or aborting a transaction through its guard.
It also supports tracking the completion status of a transaction
guard, avoiding double commits/aborts, while retaining the auto-cleanup
logic.

Merge pull request #2453 from cgwalters/etc-ignore-sockets

deploy: Ignore sockets, fifos in /etc during merge

https://bugzilla.redhat.com/show_bug.cgi?id=1945274 is an issue where a privileged
kubernetes daemonset is writing a socket into `/etc`.  This makes ostree upgrades barf.

Now, they should clearly move it to `/run`.  However, one option is for us to
just ignore it instead of erroring out.  Some brief investigation shows that
e.g. `git add somesocket` is a silent no-op, which is an argument in favor of ignoring it.

Closes: https://github.com/ostreedev/ostree/issues/2446

lib: Add an API to construct a `MutableTree` from a commit

This is nicer than having the caller parse the commit
object, or indirect via the `OstreeRepoFile*` object of the root.

Will be used in ostree-rs-ext around tar parsing.

Merge pull request #2447 from cgwalters/sepolicy-for-commit

repo: Add an API to init `OstreeSePolicy` from commit directly

Merge pull request #2451 from cgwalters/fsck-happy

Merge pull request #2450 from cgwalters/revdep-ext-ci

sepolicy: Add deprecation comment for `_get_path()`

Came up in review
https://github.com/ostreedev/ostree/pull/2447#issuecomment-931428312

repo: Add an API to init `OstreeSePolicy` from commit directly

This is part of `OstreeCommitModifier`, but I'm not using
that in some of the ostree-ext Rust code.

It just makes more sense as a direct policy API, where it should
have been in the first place.  There's already support for
setting a policy object on a commit modifier, so that's all the
old API needs to do now.

fsck: Print a success message

There's a general Unix philosophy that "silence is golden".
However, when one is explicitly invoking an error check it's nice
to see explicit success.

We already print various statistics, so ending with a happy
note has no extra cost.

tests: Use ostree-ext 0.3.0

This updates to the modern glib 0.14 and paves the way for
some reverse dependency testing by using ostree-ext's code.

Merge pull request #2448 from cgwalters/fix-selinux-policy

bin/commit: Fix --tree=tar with --selinux-policy

bin/commit: Fix --tree=tar with --selinux-policy

The logic for `--selinux-policy` ended up in the `--tree=dir`
path, but there's no reason for that.  Fix the imported
labeling with `--tree=tar`.  Prep for use with containers.

We had this bug because the previous logic was trying to avoid
duplicating the code for generic `--selinux-policy` and
the case of `--selinux-policy-from-base --tree=dir`.

It's a bit more code, but it's cleaner if we dis-entangle them.

Merge pull request #2440 from cgwalters/unit-test-counting

two small unit test patches

tests: Add new TAP APIs

Having to touch a global test counter when adding tests is
a recipe for conflicts between PRs.

The TAP protocol allows *ending* with the expected number of
tests, so the best way to do this is to have an explicit
API like our `tap_ok` which bumps a counter, then end with `tap_end`.

I ported one test as a demo.

tests/pull-test: Avoid duplicating test numbers

We do this in other places; avoids touching two numbers when
adding tests.  Let computers do the addition.

Merge pull request #2438 from cgwalters/release-2021.4

Release 2021.4

configure: post-release version bump

Release 2021.4

Merge pull request #2434 from cgwalters/custom-remote

Add support for "custom remotes"

Add support for "custom remotes"

This will be helpful for the "ostree native container" work in
https://github.com/ostreedev/ostree-rs-ext/

Basically in order to reuse GPG/signapi verification, we need
to support adding a remote, even though it can't be used via
`ostree pull`.  (At least, not until we merge ostree-rs-ext into ostree, but
 even then I think the principle stands)

Merge pull request #2435 from RBuddel/fix-delta-files-resume-legacy-transaction

repo-pull: legacy_transaction_resuming flag ignored

Merge pull request #2430 from cgwalters/stabilize-staging

upgrade: Stabilize deployment staging

repo-pull: legacy_transaction_resuming flag ignored

for deltafiles the legacy_transaction_resuming flag is not used,
which will mark the commit as done, even if files are missing.
using already existing commitstate_is_partial function as fix

upgrade: Stabilize deployment staging

We're waaay overdue for this, it's been the default
in rpm-ostree for years, and solves several important bugs
around not capturing `/etc` while things are running.

Also, `ostree admin upgrade --stage` (should) become idempotent.

Closes: https://github.com/ostreedev/ostree/issues/2389

Merge pull request #2428 from lucab/ups/tests-selinux-basic

tests: fix bare mode unprivileged 'make check'

tests: skip a broken fsck case

There are some existing issues around fsck in unprivileged bare mode,
so this test does not really work at the moment. Leaving it as a FIXME
for the moment.

tests/basic: avoid changing ownership

This avoids possible issues when trying to chmod, tweaking
permissions instead.

tests/basic: Skip --no-xattrs if we have selinux

It cannot work to use `--no-xattrs` when SELinux is enabled
because we get a `security.selinux` attribute on created files
regardless.  So just skip this test if true.

Also add some `ostree fsck`s in here which helped me debug
this.

libtest: tweak selinux/relabel message

Merge pull request #2340 from cgwalters/sign-verify-api

Add an API to verify a commit signature explicitly

Add an API to verify a commit signature explicitly

We have a bunch of APIs to do GPG verification of a commit,
but that doesn't generalize to signapi.  Further, they
require the caller to check the signature status explicitly
which seems like a trap.

This much higher level API works with both GPG and signapi.
The intention is to use this in things that are doing "external
pulls" like the ostree-ext tar import support.  There we will
get the commitmeta from the tarball and we want to verify it
at the same time we import the commit.

Merge pull request #2426 from cgwalters/xattrs-bareuseronly-union

checkout: Also ignore xattrs for union in bare-user-only mode

Merge pull request #2425 from cgwalters/hardlink-correct-errno

checkout: Save errno when re-throwing

checkout: Also ignore xattrs for union in bare-user-only mode

Followup to PRs related to https://github.com/ostreedev/ostree/issues/2410

Since the test suite now covers this the test was failing on
a Fedora SELinux enabled host where we see `security.selinux`
even if not in the commit.

Merge pull request #2424 from cgwalters/test-nonroot-ci

ci: Run GH action CI build+test as non-root

Merge pull request #2422 from cgwalters/allow-none-detached

lib: Change read_commit_detached_metadata to be nullable

checkout: Save errno when re-throwing

I was seeing an `EPERM`  here which was confusing.
It turned out the real error was `EEXIST`.

Since we're referring to the original error, but we do a
lot of computation in the middle, we need to save errno.

ci: Run main GH action CI build+test as non-root

This is really the standard best practice, matching how
e.g. dpkg/rpm work, as well as most local development
environments (including mine) with e.g. `toolbox`.

lib: Change read_commit_detached_metadata to be nullable

Hit this while working on some Rust code.

Merge pull request #2421 from lucab/ups/auto-txn-fixes

lib: improve transactions auto-cleanup logic

lib: improve transactions auto-cleanup logic

This fixes some aspects of OstreeRepoAutoTransaction and re-aligns
it with the logic in flatpak. Specifically:
 * link to the underlying repo through refcounting
 * bridge internal errors to warning messages
 * verify the input pointer type

This is a preparation step before exposing this logic as a public API.

Merge pull request #2418 from lucab/ups/lib-commit-xattrs

commit: automatically skip xattrs in bare-user-only mode

tests: update several bare-user-only checks

lib/commit: automatically skip xattrs in bare-user-only mode

builtins/commit: set up relevant flags in bare-user-only mode

This detects bare-user-only mode and automatically enables a
commit modifier with relevant flags.

lib/diff: automatically skip xattrs in bare-user-only mode

Merge pull request #2419 from dbnicholson/gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

bin/remote: Rename list-gpg-keys to gpg-list-keys

As pointed out in the original review, `gpg-list-keys` fits better
alongside the existing `gpg-import`.

Changes were done with:

```
git grep -l list-gpg-keys | xargs sed -i 's/list-gpg-keys/gpg-list-keys/'
for src in $(git ls-files '*list-gpg-keys*'); do
  dst=${src/list-gpg-keys/gpg-list-keys}
  git mv "$src" "$dst"
done
```

Merge pull request #2417 from lucab/ups/diff-repo-ignore-xattrs

lib/diff: ignore xattrs if disabled on either repos

lib/diff: ignore xattrs if disabled on either repos

This fixes the logic to detect whether xattrs should be automatically
ignored when diffing.

Merge pull request #2412 from lucab/ups/lib-commit-canonicalize

lib/commit: autofix permissions for bare-user-only

Merge pull request #2401 from dbnicholson/gpg-key-info

Remote GPG key info

lib/commit: autofix permissions for bare-user-only

This tweaks commit logic to detect bare-user-only repositories and
canonicalize permissions automatically.

Merge pull request #2415 from lucab/ups/checksum-canonical-perms

lib/checkout: use canonical permissions in bare-user-only mode

lib/repo/checkout: use canonical perms in bare-user-only mode

This automatically enables canonical permissions for checkouts in
bare-user-only mode.

lib/core/checksum: add flag to use canonical permissions

This adds a new `OSTREE_CHECKSUM_FLAGS_CANONICAL_PERMISSIONS`
checksumming flag, which is needed in bare-user-only mode
to ignore local IDs.

Merge pull request #2414 from lucab/ups/cli-commit-modifier-autoptr

builtins/commit: move commit modifier to auto-cleanup

Merge pull request #2411 from lucab/ups/cli-commit-errors

builtins/commit: check for conflicting permissions options

builtins/commit: move commit modifier to auto-cleanup

This reduces the usage of goto cleanup logic by porting the commit
modifier pointer to autoptr.

builtins/commit: check for conflicting permissions options

This explicitly checks for commit command options asking for both
non-zero UID/GID and canonical permissions at the same time,
which are incompatible.

Merge pull request #2409 from jlebon/pr/cov-fixes

A couple of Coverity fixes